模型监控

大家知道，搭建完模型就要进行模型的实施及监控了。本篇文章主要介绍模型的监控部分。

评分模型是基于过去数据去预测未来，一般随着时间推移，客群和风险点会发生变动，如市场环境周期波动造成风险点的变动；如策略的变动造成的客群变动等等。因此评分卡模型在开发上线之后，需要定期进行监控报告，当异常情况出现时要进行适当维护，确保评分卡能有效的识别客户信用风险。

一般模型监控分为前端监控和后端监控。

前端监控主要是近期客户与评分卡建模时点客户是否一致或呈现稳定形态。 

1. 评分分布 

目的在于分析监控固定时期每一个分数段的通过率。 

2. 模型分数稳定性分析 

目的在于分析衡量两段时间（模型开发期间与目前）客户的客层变化，作为评分卡有效性的早期预警，并了解通过率的变动是否来自于客群的变动。 

判断标准： 

若PSI<0.1，表示客户群体从模型开发到实施的稳定性较高，模型不需要更新； 

若0.1<= PSI <=0.25，表示客户群体发生了一定的变化，模型需要关注，随时需要更新； 

若PSI >0.25, 表示客户群体发生较大变化，模型需要更新。 

3. 特征稳定性分析 

包括单特征分析和所有特征分析，了解客群稳定性偏移原因。 

主要判断指标包括特征的PSI、CSI以及特征分布情况对比。

进行前端分析的时候应注意，和建模时点的客户对比，所过规则应该和建模时点的客户所过规则一样，才能精确衡量客群是否稳定，但建模时点客户一般都是上一版模型通过的客户（不考虑拒绝推断），因此还是直接用全量客户来做前端监控。

后端监控主要是观察模型近期客户的信用风险识别能力。 

1. 评分卡区分度分析： 

监控当前评分卡是否仍然有良好的预测能力。

主要指标包括分数的KS、AUC、GINI、离散度等指标以及入模特征的KS、AUC、IV及woe趋势的变化情况。 

2. 逾期分析报表： 

逾期分析报表有几个不同类型:按评分分段；按账龄；按特征；

按评分分段：监控申请分段的逾期情况

按账龄：监控不同时间段进件的逾期情况

按特征：监控变量是否有效，分析评分卡区分能力变化的原因。

总结一下：一般前端监控主要是与Y无关，一般是全量监控，主要是稳定性监控；

后端监控是与Y有关，监控客群主要是通过模型的客群，主要是风险点监控。

来源|风控建模

作者|小溪005

更多精彩，戳这里：